$τ$-Rec: A Verifiable Benchmark for Agentic Recommender Systems
τ-Rec：面向智能体推荐系统的可验证评测基准
🧭 智能体推荐系统评估基准 ★ 深度解读
Independent Researcher · Princeton University
用可验证奖励与 pass^k 一致性指标替代主观 LLM 评判，揭示当前模型在智能体推荐中的可靠性悬崖
📌 工作参考价值（4 点）
- 引入 pass^k 可靠性指标：在电商 Agent 上线前，用 pass^1/pass^2/pass^4 衡量多次执行的一致性，避免仅看单次成功率而低估长期可靠性；可结合回放测试评估模型稳定性。
- 可验证奖励 + 揭示标记引出 (RTE)：将约束打上 volunteer/on_ask/hidden 标签，模拟真实用户不完全表达需求的情景，迫使 Agent 通过多轮对话主动引出偏好，可作为电商导购、客服 Agent 的对话能力测试方案。
- 策略合规性作为第一类目标：将领域政策（如年龄限制、已购过滤、平台可用性、赞助披露）转化为可编程检查，直接审计轨迹，可照搬到电商推荐场景中检查 Agent 是否遵守负面清单、定价限制、合规话术等。
- 后训练截止目录防记忆：使用模型训练后发布的新商品（如 TMDB 2025–2026 电影）构建目录，确保评估不受训练数据泄露污染；电商可定期抓取新上架商品构建动态测试集，隔离泛化与记忆。